PPLX-Embed-V2-Late：0.6B/9B 多模态后期交互检索模型
🧭 多模态 late-interaction 检索蒸馏 ★ 深度解读
Perplexity AI
用 18B 教师表征蒸馏出 0.6B/9B 多模态 late-interaction 模型，支持大模型离线建库、小模型在线查询的共享向量空间
📌 工作参考价值（4 点）
- 非对称部署：用 9B 离线索引商品/文档/图片，0.6B 在线编码 query；报告显示 0.6B query + 9B doc 比纯 0.6B 平均 nDCG@10 高 1.6pp，query 延迟不变，适合电商大规模商品库和低延迟搜索。
- 表征蒸馏优于直接 contrastive：训练小 late-interaction 模型时，直接拟合 18B 教师的 token 级 L2 归一化表征，比单独对比学习更稳，尤其 <1B 模型；业务里想压缩强检索模型可以优先考虑这种 pointwise distillation。
- 128 维多向量是低成本选择：在视觉文档检索上，0.6B 128 维 multi-vector 超过同尺寸 0.8B 模型 3.3pp；相比 4096 维 dense，存储和 ANN 成本显著降低，适合电商图片搜索、商品详情页截图检索。
- 训练工程 trick：用 gradient caching + 自定义 Triton MaxSim kernel 支持 16,384 对比 batch；quasi-random golden-ratio Kronecker 采样保证多个子数据集比例稳定且均匀出现，可复用到多源商品/query 数据混合。
MEMORA：记忆增强的多模态委员会重排 Agent 用于推理密集检索
🧭 Agent 记忆增强多模态检索重排 ★ 深度解读
Chungbuk National University · University of Innsbruck
提出记忆增强多模态委员会重排 Agent，将查询分解为意图因子并用 episodic memory 调整优先级，在 MM-BRIGHT 上 nDCG@10 达 41.5/38.9
📌 工作参考价值（4 点）
- 把 query 拆成意图因子，对每个因子单独召回和提取 evidence，再交给 LLM judge 重排。电商搜索常见多意图 query（如“轻薄 防晒 户外 外套”），可按材质/功能/场景拆因子，避免单一 reranker 忽略部分需求。
- 训练电商检索向量模型时，给训练 query 拼接 GPT-4o 等生成的 CoT 意图描述，并挖 hard negatives 做 InfoNCE 微调；推理时不拼接，能显著提升语义召回，尤其适合标题和 query 表面词重叠低的商品。
- 用 domain episodic memory 记录历史 query 各因子是否帮助命中相关商品，在线调整因子优先级和召回权重。注意论文结论：memory 需 >50 条/类目才有效，低频类目可考虑跨类目迁移或用规则兜底；不要单独用 document prior，会引入频率偏差。
- 自适应 controller 采用线性状态机，根据 ranking margin 和 evidence support 决定是否继续 LLM 精排或停止，能平衡 nDCG 收益和 API 成本；电商在线系统可把该逻辑作为开关，简单可解释，便于 A/B 测试。
自回归检索器：利用物品反馈提升通用多模态检索
🧭 自回归检索 · 强化学习反馈选择 ★ 深度解读
Beijing Institute of Technology · Zhongguancun Academy · Zhongguancun Laboratory · Xiaohongshu · Southeast Academy of Information Technology, Beijing Institute of Technology
自回归检索器 ARR 交替检索物品与更新 query embedding，用 SFT+RL 学习反馈选择，显著提升多模态检索性能
📌 工作参考价值（4 点）
- 在电商搜索/召回中，可以用粗排或初始检索的 top 结果作为反馈，重新编码 query 得到更精确的 embedding，尤其对跨模态或模糊 query 有帮助。线上可先跑一步初始检索，再用反馈强化，2 步之后收益递减，成本可控。
- 训练时采用「多步对比学习 + degradation penalty」，能确保 query 加入反馈后不会变差，同时提升首轮 embedding 质量。即使线上不做多步检索，也能从这种训练中受益。
- RL 优化反馈选择时，冻结主干和 item 索引，仅训练 query 侧 LoRA，将策略优化与线上索引解耦，避免重训全库 embedding，是工程友好的设计。GRPO 以最终 reciprocal rank 为奖励，适合优化点击/成交等业务指标。
- 如果资源有限，可只实现 SFT 阶段，已经能带来较大提升；RL 需要轨迹采样和奖励计算，适合追求更高检索质量且能接受训练成本的场景。
AlphaWiSE：面向持续多模态表征学习的自适应权重插值
🧭 多模态持续学习·权重插值
University of Illinois Urbana-Champaign · Google DeepMind
提出后处理权重插值方法 AlphaWiSE，为每个参数张量学习一个标量系数组合新旧检查点，实现多模态持续学习的灵活稳定性-可塑性权衡
📌 工作参考价值（4 点）
- 多模态推荐系统持续新增领域数据时，可直接使用 AlphaWiSE 在旧任务稳定检查点和新任务适应检查点间插值，无需重新训练，避免全方向遗忘
- 利用小样本记忆（exemplar memory）自适应学习每个参数张量的插值系数（单个标量），参数量极小，可快速部署，适合线上频繁更新的场景
- 插值后的模型与原检查点架构完全一致，推理零额外开销，适合对延迟敏感的电商搜索/推荐服务
- 该方法解耦了不同检索方向（如文搜图、图搜文、音搜图）的稳定性需求，可针对不同方向定制插值系数，提升整体多模态搜索质量
多模态视频到音乐推荐：基于语义检索与时序重排序的两阶段框架
🧭 视频到音乐推荐 · 多模态检索与重排
Graduate School of Culture Technology, KAIST · Gaudio Lab, Inc
提出语义检索与时序重排序两阶段框架，在视频到音乐推荐中同时建模全局语义和细粒度时序对应
📌 工作参考价值（4 点）
- 多模态融合思路可迁移：联合视觉、音频、文本信号构建联合表征，电商场景中可类似融合商品图像、描述文本、评论音频等多模态信息，提升语义匹配质量
- 粗召回+细排两阶段架构效率与效果平衡：粗召回用全局嵌入快速筛选候选集，细排用时序注意力捕捉序列对齐，适合电商推荐中用户行为序列与候选项序列的精细匹配
- 时序重排机制捕获动态对应：广告推荐中可借鉴对用户交互序列与广告创意序列进行细粒度时序对齐，提升点击率预估的时序合理性
- 人类偏好评估补充离线指标：推荐系统除了离线A/B，可引入人类偏好对比，尤其在生成式推荐结果质量评估上更贴近实际体验